Il concetto di ottimizzazione gioca un ruolo chiave quando si parla di machine learning e deep learning in particolare. Lo scopo principale degli algoritmi di deep learning è quello di costruire un modello di ottimizzazione che, tramite un processo iterativo, minimizzi o massimizzi una funzione obiettivo $J(\theta)$ denominata anche loss function o cost function.
I più popolari metodi di ottimizzazione possono essere suddivisi in due categorie: metodi di ot…
Nella prima puntata di questa serie abbiamo visto come funziona il calcolo delle derivate nei software di deep learning, e le differenze tra differenziazione simbolica, numerica, ed automatica. In questa seconda parte, passiamo ad una implementazione didattica in puro Python di un meccanismo di reverse-mode autodiff simile nell'interfaccia a quello reso celebre da PyTorch.
Il calcolo automatico delle derivate è in assoluto "il cuore" di qualsiasi framework di deep learning. Esso permette di rendere completamente automatico (ed efficiente) uno dei meccanismi più complessi nell'uso di reti neurali, la back-propagation. Negli ultimi anni abbiamo visto la diffusione di strumenti di differenziazione automatica (autodiff) sempre più complessi e modulari, di pari passo con i progressi e successi del deep learning. Allo stesso tempo, nonostante la sua importanza, l'autodiff è un tema relativa…
Negli ultimi anni, il graph machine learning ha riscosso grande interesse nella communità di ricerca, grazie alla sua capacità di modellare nativamente ogni tipo di informazione espressa sotto forma di un grafo (solo per citare alcuni esempi: amicizie ed interessi sui social network, reti di sensori, citazioni fra articoli, struttura di molecole e proteine...). Tantissimi gli approcci al tema, dai graph kernel alle "italianissime"
Il sistema nervoso umano è una struttura incredibilmente complessa. In ogni istante, oltre centomila chilometri di terminazioni nervose connettono ciascuna parte del vostro corpo con il midollo spinale ed il cervello. Per ogni movimento che fate, è attraverso questa enorme "rete" che vengono trasmessi gli impulsi elettrici che coordinano e gesticono l'attività dei muscoli. E ciascuno di questi commandi ha a su…